將人工智能訓(xùn)練硬件的成本在其預(yù)計(jì)使用周期內(nèi)進(jìn)行攤銷(xiāo)的做法相對(duì)直接。鑒于人工智能訓(xùn)練對(duì)計(jì)算資源的高需求，高端GPU和加速器的購(gòu)置成本可能高達(dá)數(shù)百萬(wàn)美元。數(shù)據(jù)中心業(yè)主通過(guò)將這些高昂成本分?jǐn)傊翑?shù)年，試圖為這一巨額投資提供合理性，并確保高端訓(xùn)練設(shè)備在經(jīng)濟(jì)上具有可行性。Iqfesmc

這些昂貴的硬件在完成訓(xùn)練任務(wù)后并不會(huì)閑置，它們通常會(huì)在訓(xùn)練階段結(jié)束后轉(zhuǎn)而用于推理工作。這種做法的思路是，如果數(shù)據(jù)中心能夠利用同一套硬件既進(jìn)行訓(xùn)練又進(jìn)行推理，那么由此產(chǎn)生的總收入將有助于抵消最初的設(shè)備投資和持續(xù)的電力消耗。從理論上看，這一邏輯是成立的：將投資成本分?jǐn)偟蕉喾N運(yùn)營(yíng)活動(dòng)中，可以減輕財(cái)務(wù)指標(biāo)的壓力，從而可能提升盈利水平。Iqfesmc

然而，現(xiàn)實(shí)情況遠(yuǎn)比理論復(fù)雜。依賴人工智能訓(xùn)練設(shè)備進(jìn)行推理的做法，給數(shù)據(jù)中心帶來(lái)了不容忽視的限制，如今這些問(wèn)題已無(wú)法再被忽略。Iqfesmc

真正的運(yùn)營(yíng)成本元兇：電力消耗

盡管訓(xùn)練設(shè)備是一項(xiàng)關(guān)鍵的資本投入，但在數(shù)據(jù)中心中，電力消耗才是運(yùn)營(yíng)成本的主要組成部分，尤其是在訓(xùn)練和推理過(guò)程中。高性能GPU和加速器在運(yùn)行時(shí)產(chǎn)生大量熱量，需要強(qiáng)大的冷卻系統(tǒng)來(lái)維持，這不僅導(dǎo)致電費(fèi)激增，還給電力設(shè)施帶來(lái)壓力。即使采用了尖端的冷卻技術(shù)和節(jié)能措施，大規(guī)模運(yùn)行人工智能的電力需求依舊難以有效控制。Iqfesmc

當(dāng)數(shù)據(jù)中心使用高功率訓(xùn)練設(shè)備執(zhí)行長(zhǎng)時(shí)間的推理任務(wù)時(shí)，問(wèn)題愈發(fā)明顯。與通常為突發(fā)性且可能間歇性進(jìn)行的訓(xùn)練不同，推理任務(wù)是持續(xù)性的，因?yàn)槟Ｐ托枰幚韺?shí)時(shí)數(shù)據(jù)流。持續(xù)的工作負(fù)載意味著，這些高容量系統(tǒng)需要長(zhǎng)時(shí)間接近滿負(fù)荷運(yùn)行，從而導(dǎo)致運(yùn)營(yíng)成本遠(yuǎn)超預(yù)期。Iqfesmc

隱藏的運(yùn)營(yíng)成本元兇：延遲

在硬件處理領(lǐng)域，延遲是一個(gè)常被忽略卻具有重大影響的因素。延遲指的是從發(fā)起查詢到獲得響應(yīng)之間的時(shí)間間隔。在機(jī)器學(xué)習(xí)的訓(xùn)練階段，延遲一般是可以容忍的，但在推理階段，情況則完全不同。在這個(gè)環(huán)節(jié)中，即便是微小的延遲也可能引發(fā)連鎖反應(yīng)。如果響應(yīng)時(shí)間超過(guò)幾秒鐘，就可能導(dǎo)致用戶參與度下降，損害用戶體驗(yàn)，并違背實(shí)時(shí)處理的目的。Iqfesmc

為了克服延遲問(wèn)題，工程師可能會(huì)考慮增加處理器數(shù)量以實(shí)現(xiàn)并行處理，從而提升整體處理能力。乍看之下，這種方法似乎行之有效；畢竟，增加處理器能直接提升處理速度。但實(shí)際上，這個(gè)問(wèn)題遠(yuǎn)比想象中復(fù)雜。增加處理器確實(shí)能夠提高性能，但這背后的代價(jià)也是巨大的：數(shù)據(jù)中心運(yùn)營(yíng)方的資本支出和運(yùn)營(yíng)支出將會(huì)急劇增加。擴(kuò)充硬件資源如同添柴加火，雖然可能暫時(shí)緩解延遲問(wèn)題，但也可能引發(fā)成本急劇增加，以至于難以持續(xù)的程度。Iqfesmc

成本的增加不僅體現(xiàn)在初期的投資上，還會(huì)導(dǎo)致日常運(yùn)營(yíng)預(yù)算的上升，進(jìn)而增加電力消耗、維護(hù)成本和資源管理的需求。對(duì)于眾多企業(yè)而言，這種做法可能會(huì)變成一項(xiàng)沉重的運(yùn)營(yíng)負(fù)擔(dān)，其帶來(lái)的負(fù)面影響可能超過(guò)了減少延遲所帶來(lái)的收益。面對(duì)這一挑戰(zhàn)，企業(yè)需要采納更為高效和可持續(xù)的策略來(lái)解決延遲問(wèn)題，比如通過(guò)專門(mén)的硬件優(yōu)化、更智能的數(shù)據(jù)處理架構(gòu)，或是利用那些能簡(jiǎn)化實(shí)時(shí)響應(yīng)又不會(huì)超出預(yù)算的技術(shù)手段。Iqfesmc

設(shè)備折舊和壽命挑戰(zhàn)

當(dāng)前攤銷(xiāo)策略的一個(gè)主要問(wèn)題在于，它預(yù)設(shè)了人工智能訓(xùn)練設(shè)備在轉(zhuǎn)為推理任務(wù)使用時(shí)，能夠持續(xù)足夠長(zhǎng)的時(shí)間來(lái)完成全部折舊。盡管這些設(shè)備確實(shí)具備強(qiáng)大的處理能力，但長(zhǎng)時(shí)間連續(xù)使用所造成的磨損和損耗可能會(huì)非常嚴(yán)重。Iqfesmc

訓(xùn)練階段被極限使用的人工智能硬件，在持續(xù)執(zhí)行推理任務(wù)時(shí)的耐用性可能不如預(yù)期。一個(gè)不容忽視的現(xiàn)實(shí)是，許多數(shù)據(jù)中心可能不得不在這些系統(tǒng)完成折舊之前就進(jìn)行更換，這不僅會(huì)導(dǎo)致資本提前注銷(xiāo)，還會(huì)帶來(lái)額外的財(cái)務(wù)負(fù)擔(dān)。Iqfesmc

尋求可持續(xù)解決方案

面對(duì)這些挑戰(zhàn)，行業(yè)必須探索可持續(xù)的解決之道，在資本支出與運(yùn)營(yíng)支出之間尋求平衡，確保對(duì)人工智能基礎(chǔ)設(shè)施的投資不僅在短期內(nèi)合理，長(zhǎng)遠(yuǎn)來(lái)看也能保持耐用與高效。此時(shí)，那些著眼于長(zhǎng)期穩(wěn)定性和能源效率的創(chuàng)新設(shè)計(jì)便顯得尤為重要。Iqfesmc

一種可能的解決方案源自一個(gè)看起來(lái)與數(shù)據(jù)中心并不相關(guān)的行業(yè)：汽車(chē)產(chǎn)業(yè)。汽車(chē)級(jí)技術(shù)長(zhǎng)期以來(lái)致力于打造耐用、性能穩(wěn)定且高能源效率的產(chǎn)品。不同于傳統(tǒng)數(shù)據(jù)中心硬件，汽車(chē)級(jí)系統(tǒng)被設(shè)計(jì)成能夠抵御惡劣環(huán)境和長(zhǎng)期連續(xù)運(yùn)行的考驗(yàn)，且其性能不會(huì)明顯衰退。這種堅(jiān)韌特性意味著更長(zhǎng)的使用壽命和降低的更換頻次，這在考慮設(shè)備攤銷(xiāo)時(shí)成為一個(gè)至關(guān)重要的優(yōu)勢(shì)。Iqfesmc

采用汽車(chē)級(jí)方法

一家最初服務(wù)于汽車(chē)行業(yè)的創(chuàng)新企業(yè)，開(kāi)發(fā)了一項(xiàng)技術(shù)，可能會(huì)重塑數(shù)據(jù)中心在人工智能策略上的制定方式。該技術(shù)采用為汽車(chē)行業(yè)量身定制的嚴(yán)格質(zhì)量和耐用性標(biāo)準(zhǔn)，汽車(chē)級(jí)解決方案因此具備了與數(shù)據(jù)中心需求高度匹配的多個(gè)優(yōu)勢(shì)。Iqfesmc

首先，這些系統(tǒng)在設(shè)計(jì)上注重低功耗。與許多高功耗的高端GPU和人工智能加速器不同，這項(xiàng)技術(shù)在保持卓越性能的同時(shí)，優(yōu)先考慮了能源效率。這有效解決了在大量運(yùn)行人工智能模型時(shí)電力消耗所帶來(lái)的主要運(yùn)營(yíng)成本問(wèn)題，從而顯著降低了整體的運(yùn)營(yíng)成本。Iqfesmc

其次，這類解決方案相較于傳統(tǒng)人工智能訓(xùn)練硬件，擁有更長(zhǎng)的使用壽命。采用汽車(chē)級(jí)耐用性的設(shè)備能夠抵御持續(xù)使用的嚴(yán)苛環(huán)境，不易像傳統(tǒng)數(shù)據(jù)中心硬件那樣出現(xiàn)早期磨損和損壞。這意味著更長(zhǎng)的折舊周期和減少了對(duì)新硬件的資本投入，從而有效減輕了數(shù)據(jù)中心運(yùn)營(yíng)商的財(cái)務(wù)壓力。Iqfesmc

重新思考人工智能策略

人工智能的發(fā)展勢(shì)頭不減，支撐其成長(zhǎng)的數(shù)據(jù)中心需求也在不斷上升。目前，將昂貴的訓(xùn)練設(shè)備轉(zhuǎn)用于推理任務(wù)以分?jǐn)偝杀镜牟呗?，正日益顯露出其短視性，該策略未能充分考慮電力消耗和硬件壽命的實(shí)際影響。為避免財(cái)務(wù)和運(yùn)營(yíng)上的不可持續(xù)壓力，必須對(duì)戰(zhàn)略進(jìn)行調(diào)整。Iqfesmc

將汽車(chē)級(jí)技術(shù)解決方案融入人工智能基礎(chǔ)設(shè)施規(guī)劃之中，能夠帶來(lái)迫切需要的改善。雖然這些系統(tǒng)可能需要在初期重新調(diào)整預(yù)算以應(yīng)對(duì)較高的資本支出，但其長(zhǎng)期好處——降低能耗、延長(zhǎng)設(shè)備使用壽命，以及更為合理的攤銷(xiāo)安排——將遠(yuǎn)超初始的投資成本。Iqfesmc

最終思考

在數(shù)據(jù)中心不斷推動(dòng)人工智能革命的過(guò)程中，行業(yè)領(lǐng)導(dǎo)者們必須重新審視策略，以應(yīng)對(duì)AI規(guī)?；瘞?lái)的隱性成本。目前，將訓(xùn)練設(shè)備成本通過(guò)在推理階段的共用進(jìn)行攤銷(xiāo)的做法，忽視了關(guān)鍵的運(yùn)營(yíng)成本挑戰(zhàn)和硬件使用壽命的實(shí)際問(wèn)題。Iqfesmc

通過(guò)采納注重效率和持久性的解決方案，數(shù)據(jù)中心能夠?yàn)槿斯ぶ悄艿奈磥?lái)構(gòu)建一個(gè)更加可持續(xù)、更具成本效益的基石。未來(lái)的發(fā)展路徑，不僅要求在AI模型上推陳出新，也要求在支撐AI運(yùn)行的基礎(chǔ)設(shè)施上進(jìn)行創(chuàng)新。Iqfesmc

本文翻譯自國(guó)際電子商情姊妹平臺(tái)EETimes，原文標(biāo)題：Hidden Cost of AI: Why Data Center Strategies Need a RethinkIqfesmc